Linux|动静态库|动静态链接|makefile库打包|第三方库使用

何为动静态库

静态库(.a)&＃xff1a;在程序编译链接时将静态库二进制码拷贝到程序代码中&＃xff0c;程序运行时不再需要外部的静态库
动态库(.so)&＃xff1a;程序在编译链接完成后&＃xff0c;进入运行时才会去链接动态库中的二进制代码&＃xff0c;多个程序可以共享同一个动态库
动态链接&＃xff1a;程序运行时&＃xff0c;操作系统将动态库从磁盘加载到内存中&＃xff0c;这个过程叫做动态链接
动态链接生成的可执行文件包含了一个表&＃xff0c;表中存储需要使用的动态库函数地址&＃xff0c;而不是函数的所有代码
操作系统在进程的页表中建立虚拟地址与动态库函数地址&＃xff08;动态库在内存中的物理地址&＃xff09;之间的映射&＃xff0c;每个进程的页表都能映射内存中的动态库&＃xff0c;所以只需要将动态库加载到内存中&＃xff0c;该动态库就能被多个进程同时使用&＃xff0c;比起静态链接将函数的所有代码拷贝到程序中的方式&＃xff0c;动态链接生成的程序占用空间更少

库文件的链接

在当前目录的上级目录下有两个文件&＃xff0c;hello.c&＃xff0c;hello.h


两个文件是自定义函数Print的实现和声明&＃xff0c;在当前目录下创建test.c&＃xff0c;该程序包含了Print函数的头文件&＃xff0c;并且使用上级目录的自定义函数Print

编译该文件&＃xff0c;但是系统报错&＃xff0c;很显然&＃xff0c;虽然程序有Print函数的声明&＃xff08;引用了上级目录的头文件…/hello.h&＃xff0c;如果引用方式为hello.h程序报的错将是不明确的符号Print&＃xff0c;找不到头文件hello.h&＃xff0c;系统都不知道Print是个啥&＃xff09;&＃xff0c;但是没有Print的具体实现&＃xff08;报错信息为未定义引用的Print&＃xff09;。可以将Print看成一个库中的函数&＃xff0c;除了包含头文件之外&＃xff0c;要使用这个函数需要将目标文件与库文件进行链接&＃xff0c;至于说为什么我们使用printf&＃xff0c;scanf这样的库函数不需要我们链接&＃xff0c;只需要包含对应的头文件&＃xff0c;因为系统默认链接了这些标准库。当我们要使用第三方库时&＃xff0c;就需要手动链接库文件。

链接库文件则分为静态链接和动态链接两种方式

静态链接

先说明一个问题&＃xff0c;对于刚才的代码&＃xff0c;将Print函数的源文件hello.c编译生成obj目标文件&＃xff0c;该目标文件能不能与test.c生成的目标文件test.o 一起编译生成可执行程序&＃xff0c;如果能生成&＃xff0c;该可执行程序能不能正确的运行&＃xff1f;

编译两个源文件后&＃xff0c;当前目录生成了两个obj目标文件

将两个目标文件编译生成可执行文件test并运行&＃xff0c;可以看到Print函数被成功执行

综上所述&＃xff0c;只要有了由需要使用函数的源文件生成的obj文件&＃xff08;obj文件是翻译汇编语言生成的二进制机器文件&＃xff09;&＃xff0c;将obj文件与main函数所在的obj文件一起编译&＃xff0c;生成的可执行程序就能调用所需要的函数。所以&＃xff0c;当我们需要使用其他人定义的函数时&＃xff0c;可以将函数所在的源文件进行编译&＃xff0c;生成obj文件&＃xff0c;当然&＃xff0c;如果只有obj文件也是可以的&＃xff0c;最后只需要将obj文件一起编译就能生成可执行文件&＃xff0c;成功使用其他人定义的函数。

而所谓的静态链接就是将库中的obj文件与main函数所在的obj文件一起编译生成可执行文件的过程&＃xff0c;执行静态链接后&＃xff0c;因为将库的obj文件与自己的文件一起编译&＃xff0c;所以生成的可执行文件会包含库文件的代码&＃xff0c;占用较大的内存。

把多个源文件编译生成的obj文件打包&＃xff0c;并存储在一个文件下&＃xff0c;这个文件就叫做静态库。

静态库打包

使用ar指令归档需要的obj文件生成静态库&＃xff0c;归档后生成的文件可以检索源obj文件信息。

具体指令为ar -rc 归档文件 原始文件

在归档文件名相同的情况下&＃xff0c;r选项将新的归档文件替代旧的归档文件

当归档文件不存在时&＃xff0c;使用c选项创建该归档文件

我将创建静态库的操作放在makefile文件中&＃xff0c;以下是makefile文件的内容

库文件以lib开头&＃xff0c;所以我们创建的归档文件名为libmyfirst.a&＃xff0c;a后缀表示这是一个静态库&＃xff0c;mymath_s.o和hello_s.o是需要进行归档的原始文件&＃xff0c;原始文件是经过源文件的编译生成的二进制文件。

该目录此时只有mymath.c和hello.c这两个源文件&＃xff0c;要得到obj目标文件需要使用gcc -c指令编译源文件。

静态库归档完成后&＃xff0c;还需要头文件声明obj文件中的函数&＃xff08;使用一个静态库不仅需要库函数&＃xff0c;还需要头文件告知编译器库函数的存在&＃xff09;&＃xff0c;所以定义一个伪目标static&＃xff0c;该目标的依赖方法将创建两个目录&＃xff0c;一个存放库文件&＃xff0c;一个存放头文件&＃xff0c;至此一个静态库文件就能向外发布了


用tree指令打印lib-static的目录结构&＃xff0c;可以看到头文件和库文件都被打包放入对应的目录下了。

动态链接

和静态库的原理相同&＃xff0c;动态库也需要生成目标文件obj&＃xff0c;区别就是动态库的obj文件不用拷贝到可执行文件中&＃xff0c;系统会将其加载到内存中&＃xff0c;可执行文件只需要知道动态库在内存的地址&＃xff08;函数入口地址&＃xff09;&＃xff0c;在程序运行时&＃xff0c;可以通过该地址调用内存中的动态库函数。

动态库打包

打包动态库需要的obj文件与打包静态库需要的obj文件不同&＃xff0c;因为静态链接将库文件拷贝到可执行文件中&＃xff0c;库文件的代码会在进程地址空间呈现&＃xff0c;在把源文件编译为obj文件时&＃xff0c;编译器将代码的链接地址写死&＃xff0c;即采用绝对地址的方式&＃xff0c;当程序运行时&＃xff0c;这些obj文件最后生成的可执行文件&＃xff0c;只能在写死的链接地址上才能正确运行代码&＃xff0c;也就是说&＃xff0c;运行地址必须和链接地址相同&＃xff0c;程序才可以正常运行。但对于动态库来说&＃xff0c;一个动态库加载到内存后&＃xff0c;可以被多个进程链接&＃xff0c;每个进程共享区&＃xff08;存储动态库的虚拟地址的区域&＃xff09;存储的地址都可能不相同&＃xff0c;即运行地址可能发生变化&＃xff0c;所以动态库在编译obj文件时&＃xff0c;不能采用将链接代码写死的方式&＃xff0c;否则程序无法正确运行&＃xff0c;应该采用相对代码的方式编译源文件&＃xff0c;不将链接地址写死。

所以&＃xff0c;对于动态库的源文件需要使用位置无关的方式编译&＃xff0c;对于静态库的文件使用位置有关的方式编译即可。

gcc -fPIC -c生成的obj文件为位置无关文件&＃xff0c;也就是刚才说的采用相对代码的方式编译&＃xff0c;
gcc -shared 源obj文件 动态库文件&＃xff0c;该指令可以将obj文件打包成一个动态库

第三方库的使用

静态库的使用

可以看到我在11_16这个目录下生成了静态库和动态库&＃xff0c;接着退出这个目录&＃xff0c;随意进入一个目录&＃xff0c;在该目录下创建一个源文件&＃xff0c;引用hello.h和mymath.h这两个头文件&＃xff0c;然后调用Print和myPow函数&＃xff08;两函数分别在两头文件中声明&＃xff09;
gcc编译该源文件&＃xff0c;我们发现编译器不认识hello.h这个头文件&＃xff08;当然mymath.h也不认识&＃xff0c;只是hello.h在前&＃xff0c;不认识hello.h后直接报错&＃xff0c;后面的错误没有显示&＃xff09;

很显然系统不知道有hello.h和mymath.h这两个头文件。系统编译程序时&＃xff0c;默认会去/usr/include这个目录下查找头文件是否存在&＃xff0c;如果不存在&＃xff0c;系统报错&＃xff0c;很显然我们自定义的头文件没有在这个目录下&＃xff0c;我们只需要将我们的头文件添加到这个目录下就行了。

此时再次编译源文件

程序还是报错&＃xff0c;虽然程序认识Print和myPow这两个函数&＃xff0c;但程序却找不到这两个函数的定义。显然&＃xff0c;程序在编译时知道有Print和myPow是两个函数&＃xff0c;但是却不知道函数的地址&＃xff0c;因为在之后的链接过程中&＃xff0c;函数的地址会被写入&＃xff0c;所以编译阶段就将函数地址放空&＃xff0c;函数地址处于一个待写入的状态&＃xff0c;接着编译完成。但是链接时找不到这两个函数的地址&＃xff0c;因为在链接的库中&＃xff0c;系统找不到哪个库中含有Print和myPow这两个函数。所以目前我们可知的是&＃xff0c;包含Print和myPow 这两个函数的库没有被链接&＃xff0c;在链接时&＃xff0c;我们需要告知编译器库的路径&＃xff08;库在哪&＃xff1f;&＃xff09;&＃xff0c;以及要链接哪个库&＃xff08;平常使用的标准库都存储在usr/lib64这个目录下&＃xff0c;编译器会在该默认路径下链接你需要的标准库&＃xff0c;所有使用第三方库时&＃xff0c;我们需要告知编译器要链接哪个库&＃xff0c;以及库所在的路径&＃xff09;。

gcc -l 要链接的库名称

将库文件和头文件都拷贝到系统的默认路径下&＃xff0c;就不用告知编译器头文件和库文件的路径&＃xff0c;因为编译器会区默认路径下查找。所以我们只需要告知编译器要链接的库名称。

注意&＃xff0c;链接库文件时&＃xff0c;库文件名不用加前缀lib和后缀.a或者.so&＃xff0c;编译器会根据命名规范自动补足名称&＃xff0c;然后查找对应的库。在拷贝自定义的库文件和头文件到系统默认路径下后&＃xff0c;编译源文件时指定要链接的库就能成功编译。

但是将自己的库文件和头文件安装到系统的默认路径下是一种不好的行为&＃xff0c;会污染系统的库文件&＃xff0c;除了将库文件和头文件安装到系统默认路径下&＃xff0c;还能通过添加gcc编译时的选项使用第三方库。

gcc -L 库文件查找的路径
gcc -I 头文件查找的路径

刚才我们的编译只是指定了要链接的库&＃xff0c;没有指定库文件和头文件的路径&＃xff0c;因为编译器的默认行为&＃xff0c;我们不需要特别指定路径。当我们需要链接的库不在系统默认路径下&＃xff0c;就需要我们告知编译器库文件和头文件所在的路径。所以只要我们有静态库&＃xff0c;并且知道库文件和头文件的路径&＃xff0c;我们就能通过添加gcc的选项&＃xff0c;指明对应文件路径的方式&＃xff0c;编译一个使用第三方库的程序。

动态库的使用

动态库的使用也是两种方式&＃xff0c;第一种是简单粗暴的在系统默认路径下添加库文件和头文件&＃xff0c;最后在编译时&＃xff0c;指定要链接的库&＃xff0c;方法和静态库一样&＃xff0c;这里不再阐述。

第二种方式也与静态库一样&＃xff1a;添加编译选项&＃xff0c;虽然可以生成可执行文件&＃xff0c;但可执行文件却无法执行。

原因是程序运行时需要链接库文件&＃xff0c;却找不到对应库文件&＃xff0c;为什么静态库不存在这样的问题&＃xff1f;静态链接编译生成的可执行程序将整个库都拷贝到可执行文件中&＃xff0c;运行时不再需要静态库&＃xff0c;而动态链接只是拷贝了一张地址表&＃xff0c;在运行时需要通过表中地址查找并调用动态库中的函数&＃xff0c;但现在的情况是&＃xff1a;可执行程序知道要链接哪个动态库&＃xff0c;却不知道动态库的路径&＃xff08;在磁盘中的位置&＃xff09;&＃xff0c;也就无法链接

解决无法链接动态库有三种方法&＃xff0c;一是向环境变量LD_LIBRARY_PATH导入动态库路径&＃xff0c;程序运行时&＃xff0c;除了会在系统默认路径下查找需要链接的库&＃xff0c;还会在该环境变量存储的路径下查找。但这种方式是一次性的&＃xff0c;重启系统后&＃xff0c;环境变量将会变为默认值。

另一种方式可以永久解决次问题&＃xff1a;修改系统配置文件&＃xff0c;/etc/ld.so.conf.d/目录下存储了许多配置文件&＃xff0c;每个配置文件存储了一个路径&＃xff0c;如果系统中使用了第三方库&＃xff0c;那么程序在动态链接时&＃xff0c;除了查找系统默认路径下的库文件&＃xff0c;还会到/etc/ld.so.conf.d/路径下的配置文件存储的路径下查找库文件。

在/etc/ld.so.conf.d/路径下添加配置文件mylib.conf&＃xff0c;向文件写入自定义库文件所在路径

然后执行sudo ldconfig&＃xff0c;使新的配置文件生效

最后一个方法&＃xff0c;与第一种简单粗暴的向系统默认目录添加文件类似&＃xff0c;都是向系统默认路径添加文件&＃xff0c;只是这次添加的是库文件的软链接

进行链接的原文件最好是绝对路径&＃xff0c;程序编译时&＃xff0c;只需要告知需要的头文件路径以及要链接的库名称即可&＃xff0c;编译生成的可执行文件不会出现找不到库的错误&＃xff0c;因为系统会去默认库文件路径下查找需要链接的库是否存在。

在系统层面上的动态链接理解

最开始时&＃xff0c;可执行程序与其需要链接的动态库都存储在磁盘中&＃xff0c;执行可执行程序后&＃xff0c;操作系统将可执行程序与动态库从磁盘加载到内存&＃xff0c;并建立task_struct描述可执行程序&＃xff0c;task_struct中有一个mm_struct&＃xff0c;不仅存储了进程的虚拟地址空间&＃xff0c;还存储了映射虚拟地址空间与物理地址空间的页表。在虚拟地址空间中&＃xff0c;堆区向上增长&＃xff0c;栈区向下增长&＃xff0c;两者相对而生&＃xff0c;中间有一块共享区&＃xff0c;该共享区存储的就是动态库函数的虚拟地址&＃xff0c;动态库由磁盘加载到内存中&＃xff0c;在物理空间上有属于自己的地址空间&＃xff0c;页表将建立共享区与动态库的物理地址之间的映射。所以共享区存储了动态库函数的虚拟地址&＃xff0c;程序在代码区执行代码时&＃xff0c;如果遇到了动态库函数&＃xff0c;会通过函数地址&＃xff08;虚拟地址&＃xff09;跳转到共享区&＃xff0c;由于地址是虚拟地址&＃xff0c;进程将通过页表的映射得到动态库函数的物理地址&＃xff0c;进程将执行处于内存上的动态库函数&＃xff0c;执行完毕&＃xff0c;再从共享区跳转回代码区。

所以&＃xff0c;当一个进程需要动态链接时&＃xff0c;需要将动态库从磁盘加载到内存中&＃xff0c;对于第三方库&＃xff0c;如果系统不知道库文件在磁盘的哪个位置&＃xff08;不知道库文件路径&＃xff09;&＃xff0c;那么系统就无法找到库文件&＃xff0c;更不用说将其加载到内存中&＃xff0c;程序也就无法与库进行链接。所以对于第三方库文件没有存储在系统默认路径下的情况&＃xff0c;可执行程序虽然知道要链接哪个库文件&＃xff0c;但不知道库文件的位置&＃xff0c;也就无法加载库文件&＃xff0c;程序中的库函数没有映射对象&＃xff0c;函数只有声明&＃xff0c;没有定义&＃xff0c;当然无法调用函数